Ryzhkov sinh ngày 28/9/1929 tại Dzerzhynsk, Ukraina Xô, Liên Xô.[2] Ông tốt nghiệp Học viện Bách kho Ural năm 1959.[3] Ông là nhà kỹ trị, bắt đầu công việc thợ hàn sau đó kỹ sư trưởng Nhà máy Uralmash Sverdlovsk, sau đó, trong khoảng thời gian từ 1970-1975, ông làm Giám đốc Nhà máy Sản xuất Hỗn hợp Uralmash.[4] Ryzhkov gia nhập Đảng Cộng sản Liên Xô (ĐCSLX) năm 1956.[5] Ông được chuyển đến Moscow năm 1975 và được bổ nhiệm vào vị trí Thứ trưởng thứ nhất của Bộ Xây dựng máy giao thông và hạng nặng. Ryzhkov trở thành Phó Chủ tịch Ủy ban Kế hoạch Nhà nước năm 1979 và[6] được bầu làm ủy viên Trung ương Đảng Cộng sản Liên Xô năm 1981. Ông là một trong số thành viên của lãnh đạo Liên Xô thuộc nhóm "Andrei Kirilenko".[7]

Yuri Andropov bổ nhiệm Ryzhkov làm Trưởng ban Ban Kinh tế Trung ương Đảng Cộng sản Liên Xô khi ông chịu trách nhiệm giám sát các cơ quan kế hoạch và tài chính, trừ ngành công nghiệp. Là người đứng đầu Ban, ông báo cáo trực tiếp với Mikhail Gorbachev[8] và là người đứng đầu Ban Kinh tế Trung ương Đảng khi ông phải gặp Andropov hàng tuần. Ryzhkov tin rằng Andropov có thể sống thêm hơn 5 năm nữa, và muốn Liên Xô được cải cách kinh tế như đã thực hiện tại Trung Quốc.[9] Trong thời gian Konstantin Chernenko lãnh đạo, giữa Ryzhkov và Gorbachev đã xây dựng một số biện pháp cải cách, đôi khi phải đối mặt với sự phản đối từ Chernenko.[10]

Khi Gorbachev nắm quyền, Nikolai Tikhonov, Chủ tịch Hội đồng Bộ trưởng Liên Xô, được bầu làm Chủ tịch Ủy ban Cải thiện Quản lý Hệ thống. Chức danh Chủ tịch mang tính chất danh dự, Ryzhkov làm Phó Chủ tịch nhưng nằm phần lớn quyền lực.[11] Cùng với Yegor Ligachev, Ryzhkov trở thành ủy viên dự khuyết Bộ Chính trị ngày 23/4/1985 trong nhiệm kỳ Gorbachev làm Tổng bí thư.[12] Ryzhkov đã thay thế Tikhonov ngày 27/9/1985.[13]